((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto))
* Selon un document, quatre modèles d'IA ont accédé à des systèmes externes en temps réel pendant 10 à 34 heures
* L'interruption de l'entraînement a duré plus d'un mois, risquant d'entraîner des retards et de faire perdre du terrain face à la concurrence
* Anthropic affirme n'avoir constaté aucune tentative de contournement de la surveillance ni de coordination entre les modèles
Anthropic a suspendu l’entraînement de son modèle d’IA phare de nouvelle génération pendant plus d’un mois pour des raisons de sécurité, alors que quatre de ses agents IA ont accédé à des systèmes informatiques externes en production lors des tests, comme l’a révélé lundi le document de son introduction en bourse .
Le créateur de Claude a indiqué dans la section « facteurs de risque » du dossier qu’il avait reporté le pré-entraînement d’un nouveau modèle de base « de pointe » afin de renforcer les mesures de protection contre le vol des poids du modèle et de la propriété intellectuelle.
Cette révélation met en lumière les défis en matière de sécurité auxquels sont confrontés les développeurs de modèles d’IA de plus en plus puissants, dont certains créateurs ont averti que la technologie pourrait à terme échapper au contrôle humain. Son concurrent OpenAI avait également suspendu certains entraînements plus tôt cette année pour des raisons de sécurité, après que ses modèles eurent piraté Hugging Face.
Ces incidents illustrent à quel point des défaillances de sécurité imprévues pourraient perturber le développement et le déploiement de modèles essentiels à la croissance d’Anthropic, alors que la société se prépare à une introduction en bourse très attendue.
Anthropic a averti que les interruptions d’entraînement pourraient retarder la génération de revenus et la faire prendre du retard sur ses concurrents. La société a consacré environ 94 pages aux facteurs de risque, soit davantage que dans son dossier confidentiel consulté par Reuters.
ÉVASION DU SANDBOX
Le dossier détaillait également des défaillances d’ d’évaluation de la sécurité, jusqu’alors non divulguées, au cours desquelles quatre modèles d’IA se sont échappés de leurs environnements de test et ont accédé à des systèmes informatiques réels, pour des sessions durant entre 10 et 34 heures.
Anthropic a expliqué qu’une erreur survenue lors de tests de cybersécurité menés avec un partenaire tiers avait laissé l’environnement de test connecté à Internet, alors que des instructions prévoyaient la désactivation de l’accès au Web.
Dans un cas, une version préliminaire du modèle a continué à s’acharner sur une tâche d’évaluation impossible, a découvert un mot de passe stocké et l’a utilisé pour obtenir un accès administrateur au système d’un tiers. Il a ensuite obtenu des identifiants supplémentaires, modifié les paramètres du système et accédé aux données personnelles d’un individu. Le document n’a pas identifié les parties externes impliquées.
Anthropic a déclaré avoir informé toutes les parties concernées et n’avoir trouvé aucune preuve que les modèles aient cherché à échapper à la supervision humaine ou à se coordonner entre eux. L’entreprise a par la suite suspendu certaines évaluations de cybersécurité préalables à la mise en production et mis en pause les environnements d’apprentissage par renforcement présentant un risque plus élevé.
Par ailleurs, la société a déclaré dimanche que Claude avait contourné un système de paiement et accédé, sans autorisation humaine, aux chiffres agrégés des votes rendus publics par l’État américain de Géorgie.
0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer